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JE 要: 针对 传统 的 阿 兹 海 默 症 (Alzheimer”s disease，AD) 分 类 3D 模型 参数 过 多 以 及 2D 模型 缺乏 连续 性 特征 的 问 
题 ， 提 出 了 一 种 结合 2D 卷 积 神经 网 络 与 长 短 时 记忆 网 络 的 脑 部 核磁 共振 成 像 (magnetic resonance imaging, MRI) A 
像 分 类 算法 。 利 用 深度 卷 积 生 成 对 抗 网 络 (deep convolutional generative adversarial networks，DCGAN)， 卷 积 层 能 够 
在 无 标签 的 情况 下 自动 提取 到 图 像 特征 。 首 先 以 无 监督 的 方式 训练 着 积 神经 网 络 ;将 MRI 图 像 序列 转换 为 特征 序列 ， 
再 输入 到 长 短 时 记忆 网 络 进行 训练 ; 最 后 结合 特征 序列 与 LSTM 的 隐藏 状态 进行 分 类 。 实 验 结果 显示 ， 相 比 3D 模 
型 ， 该 算法 有 着 更 少 的 参数 ， 对 于 NC 与 AD 的 分 类 达到 了 93.93% 的 准确 率 ， 对 于 NC 与 MCI 达到 了 86.27% 的 准 
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Abstract: Aiming to the problems that the excessive parameters of 3D model and the lack of continuous features of 2D 
model in existing Alzheimer' s Disease (AD) classification methods, this paper proposed a brain MRI(Magnetic Resonance 


Imaging) image classification algorithm which combines 2D convolutional neural networks and long short-term memory. 
By making use of the deep convolutional generative adversarial networks (DCGAN) , the convolutional layers permitted to 
eA capture image features without labels. The method firstly trained CNN by unsupervised way. Secondly, transformed MRI 
Q) image sequence into feature sequence and trained LSTM network. Finally, combined the feature sequence and the hidden 
states of LSTM network to classify. The experimental results, compared with 3D model, show that the algorithm has less 
parameters, achieved 93.93% classification accuracy for NC (normal control) vs. AD and 86.27% for NC vs. MCI (mild 


-m cognitive impairments) , respectively. 
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unsupervised 
S 0 ug 再 一 次 成 为 研究 的 热点 。 卷 积 神经 网 络 已 经 在 计算 机 视觉 领 
= S 域 应 用 了 几 十 年 。 相 比 传统 的 HOG, SIFT 等 “手工 设计 ” 
, 阿 北海 默 症 是 一 种 大 脑 退 化 疾病 ， 是 导致 痴呆 的 最 常见 ”特征 的 方法 ,CNN 作为 一 种 数据 驱动 的 模型 ， 能 够 自动 地 提 
RAN, HP, AD 的 诊断 主要 依靠 心理 测试 、 神 经 影像 和 取 特征 。CNN 在 医学 图 像 分 析 的 应 用 可 以 追溯 到 1990 年 ， 
液 等 指标 以 及 生物 标志 物 外 。 根 据 世界 卫生 组 织 的 估计 ， 全 当时 CNN 被 用 于 辅助 检测 微 钙化 点 和 肺 结 节 。 在 阿 效 海 默 
求 阿 效 海 默 症 患者 的 数量 将 在 几 十 年 内 翻 四 倍 , 在 2050 年 症 方面 也 已 经 有 一 些 相关 工作 。Zhu 等 人 四 提出 了 一 种 基于 


3| 144 1400 万 人 ,早期 和 准确 的 诊断 使 患者 能 够 得 到 支持 x E 选 择 方法 。 通 过 过 滤 不 相干 的 特征 ， 再 用 SVM 3E 
性 治疗 ， 帮 助 他 们 维持 更 长 时 间 的 自理 能 力 ， 有 望 降低 相关 行 分 类 ， 得 到 了 比 非 特征 选择 方法 更 好 的 效果 。Tong 等 人 中 
的 费用 中。 利用 独立 成 分 分 析 提 取 特 征 ， 再 由 支持 向 量 机 进行 分 类 。 

结构 MRI 是 一 种 非常 重要 的 广泛 可 用 和 非 侵 入 性 的 生 Hosseini-Asl 等 人 (9 使 用 卷 积 自动 编码 器 (convolutional 
物 标记 ,同时 也 是 一 种 很 好 的 显示 E 
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患者 AD 发 展 状况 的 媒介  auto-encoder, CAE) 提 取 三 维 MRI 图 像 的 特征 ， 然 后 将 CAE 
7. EF] MRI 可 以 被 用 于 训练 计算 机 辅助 诊断 算法 ”“。 这 些 ”的 权 值 用 于 初始 化 3D CNN 网 络 ， 在 AD、MCI( 轻 度 认 知 障 
法 有 可 能 发 现 人 类 专家 在 对 大 脑 图 像 进行 定性 的 分 析 时 所 ” 碍 ) 和 ”NC( 健 康 控制 组 ) 三 类 图 像 数 据 上 取得 了 89.1% 的 分 类 
遗漏 的 群体 间 的 差异 ， 得 到 相 比 临床 标准 更 为 客观 的 诊断 结 “准确 率 。Cheng 等 人 0 设计 了 一 种 结合 2D CNN 和 BGRU 
gU, (bidirectional gated recurrent unit, 双向 门 控 循环 单元 ) 的 框 
特征 提取 的 优 劣 极 大 地 影响 图 像 分 类 的 结果 。 自 2012 架 。 该 方法 将 三 维 的 PET 图 像 转 为 二 维 的 图 像 序列 ， 用 卷 积 
年 Krizhevsky 赢得 ImageNet 竞赛 以 来 ， 深 度 卷 积 神经 网 络 。 网 络 提取 图 像 特征 ， BGRU 提取 图 像 间 的 特征 用 于 最 终 
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的 分 类 。 该 方法 能 够 在 使 用 2D 卷 积 的 同时 考虑 图 像 的 空间 DCGAN 使 用 了 一 系列 的 限制 ， 比 如 用 卷 积 层 替 代 池 化 层 ， 
信息 ， 但 在 训练 时 ， 由 于 需要 计算 每 一 个 时 间 步 卷 积 层 所 有 为 每 一 卷 积 层 增加 批 标准 化 (batch normalization，BN) 等 ， 使 
权 值 的 梯度 ， 即 卷 积 层 在 进行 前 向 计算 时 保留 了 所 有 的 中 间 ”得 用 生成 对 抗 网 络 训练 CNN 时 更 加 稳定 .DCGAN 以 无 监督 
取 


值 ， 导 致 内 存 需 求 和 计算 量 大 幅 增 长 。Li 等 人 02 提 出 了 一 种 的 方式 进行 训练 ， 其 训练 后 的 判别 器 可 以 用 于 图 像 的 特征 提取 。 

基于 深度 学 习 的 AD 分 类 框架 ， 利 用 主 成 分 分 析 提 取 MRI, 

PET 图 像 特征 ， 再 应 用 稳定 性 选择 方法 和 受 限 玻 尔 兹 曼 机 a — 

(restricted Boltzmann machine, RBM) 进 行 特征 选择 和 提取 , 最 "i 

后 由 SVM 4725, Liu 等 人 M3 融合 了 MR 和 PET 两 种 成 像 方 一 3 判别 器 一 > 

式 的 图 像 ， 使 用 堆 受 的 自动 编码 器 提取 图 像 高 层 特征 ， 最 后 

微调 网 络 进行 多 分 类 任务 。Suk 等 人 04 首 先 将 样本 下 采样 为 ik . PA E 

更 少 的 体 素 元 素 ， 然 后 用 深度 玻 尔 效 曼 机 (deep Boltzmann j | 生成 器 [一 六 生成 样本 

machine, DBM) 以 “ 块 ”的 形式 学 习 潜 在 的 特征 , 应 用 集成 学 

习 的 方法 ， 结 合 多 个 分 类 器 进行 分 类 。 当 前 ， 由 于 卷 积 网 络 X1 生成 对 抗 网 络 

在 提取 图 像 特征 方面 具有 优越 性 ， 许 多 研究 者 都 致力 于 设计 Fig. 1 Generative adversarial networks 

改进 各 种 预测 模型 ,以 更 好 地 提取 MRI 图 像 的 特征 , 提高 分 1.2 长短 时 记忆 网 络 

类 的 准确 率 。 这 些 方法 均 使 用 了 神经 网 络 ， 并 取得 了 良好 的 传统 的 循环 神经 网 络 (Recurrent Neural Networks, RNN) 

结果 ， 但 是 这 些 算法 的 性 能 高 度 依 赖 于 超 参 数 的 选择 和 调 优 在 处 理 长 期 依赖 问题 时 存在 着 梯度 消失 的 问题 。1997 年 ， 

过 程 。 Hochreiter 和 Schmidhuberl1sl 提 出 长 短 时 记忆 网 络 , 引入 了 记 
从 零 开 始 训练 一 个 卷 积 神经 网 络 并 不 容易 ， 因 为 这 需要 忆 单 元 。2000 Æ, Gers 引入 了 遗忘 门 , 根据 输入 与 上 一 个 时 


大 量 的 带 标签 的 训练 数据 和 许多 技巧 以 使 其 收敛 。 在 医学 领 。” 闻 步 的 状态 决定 哪些 信息 应 该 被 记 住 。 本 文 模型 使 用 的 是 带 


域 ， 这 种 需求 可 能 无 法 被 满足 03。 利 用 自动 编码 器 等 无 监督 ” 遗忘 门 的 LSTM， 具 体 计算 如 下 : 

算法 提取 图 像 特 征 正在 成 为 一 种 趋势 。 本 文 的 模型 将 特征 提 f, co, QV x, &U hi tbs) Q) 
取 与 分 类 分 为 两 个 阶段 进行 训练 。 为 了 能 够 利用 MRI 图 像 的 i, 2o, Vx, +U;h eb) (3) 
空间 信息 ， 同 时 降低 网 络 的 复杂 度 ， 本 文 利用 深度 卷 积 生成 o, 70, (Wx +U oha +b,) (4) 
对 抗 网 络 ， 以 无 监督 的 方式 提取 图 像 特征 。 在 展开 长 短 时 记 & = 0, QV x, +U ha b.) (5) 
忆 网 络 时 ， 由 于 卷 积 层 已 经 训练 完成 ， 因 此 固定 卷 积 层 的 权 G — f, ^6 ti o, (6) 
值 ,只 做 前 向 的 计算 而 不 求 其 梯度 , 从 而 避免 了 在 训练 LSTM h, =0,°0,(0,) (7) 
层 时 保留 卷 积 层 的 中 间 值 ， 大 幅 降低 了 对 计算 资源 的 需求 。 中 : 符号 。 表 示 按 元 素 相 乘 ; W 和 为 各 个 门 的 权 值 矩阵 ; 
对 于 长 序列 的 计算 ， 本 文 模型 更 有 优势 。 相 比 于 早先 的 各 种 为 激活 函数 ， 输 入 门 i 与 输出 门 0 分 别 用 于 控制 记忆 单元 


SVM 方法 , 利用 深度 学 习 技术 进行 分 类 的 方法 取得 了 更 好 的 。 息 的 流入 和 流出 ; 6 为 记忆 单元 cell 的 状态 ，% 为 隐藏 


层 的 
效果 。 其 中 ，3D 卷 积 网 络 效果 显著 , 但 是 参数 较 多 , 计算 代 ”输出 状态 。 改进 的 LSTM 网 络 解决 了 处 理 长 序列 时 的 梯度 传 
价 较 大 。 递 问题 ， 使 网 络 能 够 被 有 效 地 训练 。 
1 ”相关 理论 2 ”本 文 模型 
1.1 深度 卷 积 生成 对 抗 网 络 卷 积 神经 网 络 由 于 其 在 特征 提取 方面 的 良好 表现 而 被 ) 


生成 对 抗 网 络 由 Goodfellow 等 人 09 于 2014 年 提出 。 该 ” 泛 应 用 于 各 种 图 像 分 类 算法 。 长 短 时 记忆 网 络 则 适合 处 理 与 
模型 绕 过 了 求解 似 然 函数 的 困难 ， 转 而 直接 生成 样本 ， 从 而 ”序列 相关 的 问题 。 本 文 提出 的 模型 结合 两 者 的 优点 ， 将 连续 
拟 合 训练 数据 的 分 布 。 生 成 对 抗 网 络 由 一 个 生成 器 和 一 个 判 。 ”的 二 维 图 像 通过 卷 积 神经 网 络 转 换 为 特征 序列 ， 再 输入 到 长 


别 器 组 成 ， 生 成 器 使 用 随机 噪声 作为 输入 ， 并 将 其 映射 到 样 短 时 记忆 网 络 进行 分 类 。 本 文 模型 如 图 2 所 示 。 
本 空间 。 判 别 器 输出 一 个 介 于 0 到 1 之 间 的 概率 ， 用 于 判 出 DCGAN 取消 了 池 化 层 ， 判 别 器 由 卷 积 层 构 成 ,最 后 一 层 
输入 样本 是 真实 数据 还 是 生成 数据 。 对 于 真实 的 样本 ， 判 别 为 全 连接 层 ， 用 于 输出 图 像 为 真实 样本 的 概率 。DCGAN 原 
3& D 输出 的 概率 接近 1。 对 于 生成 的 样本 ，D 输出 的 概率 接 台 模 型 的 输入 为 64X 64, 而 本 文 使 用 的 数据 集中 的 MRI 图 像 
近 0。 两 者 交替 训练 ， 在 训练 G 时 固定 D 的 参数 ， 训 练 D 时 — 均 大 于 这 个 尺寸 。 为 了 避免 压缩 图 像 带 来 的 信息 丢失 ， 本 文 
固定 G 的 参数 ， 直 到 生成 器 生成 的 数据 的 分 布 与 真实 样本 的 。” ”模型 将 输入 扩展 为 160X160 像素 的 灰 度 图 像 ， DCGAN 
分 布 重合 。 网 络 的 结构 如 图 1 所 示 。 生 成 对 抗 网 络 的 目标 函 的 判别 器 和 一 个 堆 匡 了 两 层 隐藏 层 的 LSTM 网 络 构成 。 判 别 
数 如 下 : 器 卷 积 核 的 大 小 均 为 5X5, 步 长 为 2。 最 后 一 层 卷 积 层 的 特 
min maxV(D.G) =E, [log POO -E, llog- D(GCGOI " a A e a a E A 

图 的 数量 也 进行 了 相应 的 减少 ，4 层 卷 积 层 的 特征 图 数 分 别 

其 中 : DD 为 判别 器 ，x 为 真实 的 样本 ; G 为 生成 器 ，z 为 输 ”为 64、128、256 $0512. LSTM 隐藏 层 状态 数 均 为 236。 处 
入 的 随机 噪声 。 生 成 对 抗 网 络 通过 博弈 的 方式 学 习 ， 最 终 达 理 完 所 有 图 像 后 ， 将 得 到 的 特征 输入 LSTM 层 ， 用 于 提取 图 


到 纳什 平衡 。 与 通常 的 有 监督 训练 不 同 ， 生 成 器 G 的 参数 更 像 之 间 的 信息 。 再 将 二 维 的 特征 与 LSTM 输出 的 隐藏 状态 进 

新 梯度 并 非 来 自 真 实 的 样本 ， 而 是 来 自 判别 器 D 。 TER, 由 全 连接 网 络 进行 分 类 , softmax 分 类 器 输出 分 类 的 
自 提 Ay 已 经 有 了 许多 基于 该 概率。 样本 类 别 标签 使 用 one-hot 进行 编码 。 

模型 的 变 体 。Radford 等 人 0 提出 了 结合 卷 积 神经 网 络 和 生 模型 的 训练 过 程 分 为 两 个 阶段 。 首 先 训 练 DCGAN 网 络 ， 

成 对 抗 网 络 的 DCGAN gon, 并 展现 了 该 模型 的 判别 器 的 卷 由 于 生成 对 抗 网 络 在 训练 时 仅 对 样本 的 真 假 进 行 判断 ， 因 此 


积 核能 够 在 无 标签 的 图 像 数据 集中 学 习 到 数据 集 的 特征 。 无 须 区 分 图 片 的 类 别 ， 直 接 输入 判别 器 。 为 了 加 快 网 络 的 收 
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SI N.H] z-score 方法 对 输入 的 数据 进行 标准 化 处 理 , 转换 函 
数 为 : 

x2 (8) 
其 中 : x 为 标准 化 前 像素 点 值 ，/ 为 像素 的 平均 值 ，o 为 像素 


点 的 标准 差 。 


MRI Images 


(a) 图 像 预 处 理 


(a) Image preprocessing 


(b) 训 练 卷 积 网 络 


(b) Training convolution network 


(0c) 训练 LSTM 网 络 
(c) Training LSTM network 


O 
O 
O 
O 
O 
O 
O 
(d) 全 连接 层 
(d) Fully connected layer 
图 2 本文 框架 


Fig. 2. The proposed framework 


判别 器 最 后 的 全 连 | 
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3.3 ”实验 结果 
3.3.1 生成 样本 

DCGAN 训练 完成 后 ， 判 别 器 用 于 本 文 模型 的 图 像 特 征 
提取 。 生 成 器 亦 学 习 到 如 何 生成 接近 于 真实 数据 分 布 的 样本 。 
图 3 为 生成 器 生成 的 大 脑 MRI 图 像样 本 ， 可 以 看 到 ， 这 些 生 
成 的 样本 与 真实 的 样本 十 分 相似 。 从 图 3 可 以 看 到 ， 生 成 的 
图 片 存 在 一 定 程度 的 倾斜 ， 这 是 因为 输入 的 图 片 经 过 了 旋转 
操作 ， 生 成 器 学 习 到 了 这 些 变化 。 同 样 的 ， 判 别 器 也 学 习 到 
了 图 像 特征 的 平移 不 变性 和 镜像 不 变性 。 实 验 结果 表明 ， 式 
X100 加 快 了 卷 积 层 的 收敛 速度 ， 得 到 了 更 加 清晰 的 生成 样 


(a) 增 加 惩罚 项 
(a)Added punishment 


(b) 无 惩罚 项 
(b)No punishment 


图 3 生成 的 样本 
Fig. 3 Generative samples 
3.3.2 特征 图 可 视 化 
可 视 化 激活 函数 层 有 助 于 理解 卷 积 神经 网 络 学 习 到 了 哪 
些 特征 。 在 文献 [19] 中 , 作者 可 视 化 了 第 一 层 卷 积 的 卷 积 核 ， 
显示 该 层 学 习 到 了 边缘 和 颜色 等 底层 特征 。 这 种 直接 可 视 化 
卷 积 核 的 方式 通常 只 适用 于 浅 层 的 卷 积 核 。 对 于 深层 的 卷 积 
核 ， 其 学 习 到 的 特征 比较 抽象 ， 即 使 可 视 化 也 不 容易 理解 。 
为 了 更 好 地 理解 卷 积 神经 网 络 ，Zeiler 等 人 9 通过 反 卷 积 方 
法 可 视 化 特征 图 。 该 方法 通过 反 池 化 、 反 激活 和 反 卷 积 过 程 ， 
将 特征 图 重新 映射 回 输入 图 像 的 像素 空间 ， 从 而 得 到 一 张 与 
输入 相同 大 小 的 图 像 , 图 4 为 第 二 层 卷 积 层 前 16 个 特征 图 的 
反 卷 积 结果 。 从 图 中 可 以 看 出 ， 卷 积 核 提 取 到 了 轮廓 信息 ， 
并 忽略 了 背景 。 这 也 证 实 了 判别 器 的 卷 积 层 学 习 到 了 图 像 特 
征 。 
3.3.3 分 类 结 


卷 积 神经 网 络 在 医学 图 像 分 类 方面 已 有 许多 相关 的 研究 。 


近年 来 的 方法 大 多 利用 2D CNN 进行 特征 提取 ， 再 由 全 连接 
网 络 进行 分 类 ,单独 的 一 张 MRI 图 像 并 不 容易 确定 其 所 属 的 
类 别 ， 一 些 图 像 可 能 不 包含 病灶 ， 不 能 够 提供 足够 的 信息 。 
通过 对 所 有 二 维 的 图 像 的 分 类 结果 取 平 均 能 够 较 好 的 解决 这 
个 问题 ， 但 是 丢失 了 这 些 图 像 之 间 的 联系 信息 。 这 些 信息 可 
能 有 利于 提高 分 类 精度 。 相 比 2D 模型 ，3D 卷 积 能 够 捕获 到 
MRI 图 像 的 局 部 空间 特征 ， 但 是 其 缺点 也 比较 明显 ，3D 卷 
积 有 着 更 多 的 参数 ， 可 能 增加 过 拟 合 的 风险 ， 尤 其 是 当 样 本 
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较 少时 。 此 外 ，3D 模型 的 训练 也 需要 更 多 的 计算 资源 。 表 1 
为 本 文 模型 的 实验 结果 与 一 些 现 有 的 方法 的 比较 。 


图 4 卷 积 层 可 视 化 


Fig.4 Convolution visualization 


表 1 不 同 算法 的 分 类 准确 率 % 
Table 1 Accuracy of various algorithms 
方法 AD/NC MCI/NC 
文献 [11] 91.2 78.9 
文献 [12] 91.4 77.4 
文献 [13] 91.4 82.1 
文献 [14] 92.3 84.2 
本 文 模型 (with norm) 93.9 86.3 
本 文 模型 (without norm) 90.9 84.0 


与 现 有 的 阿 北海 默 证 3D 分 类 模型 相 比 ， 本 文 提出 的 模 
型 大 幅 减 少 了 参数 ,降低 了 过 拟 合 的 可 能 性 。 同时 , 相 比 2D 
模型 ， 由 于 加 入 了 LSTM 层 ， 本 文 模型 能 够 利用 图 像 的 空间 


特征 信息 。 对 比 文献 [13] 的 方法 ， 


本 文 模型 在 训练 分 类 器 时 


不 需要 反复 计算 卷 积 层 的 梯度 ， 降 低 了 计算 复杂 度 ， 使 得 模 


型 能 够 进行 更 长 的 序列 计算 。 


图 5 为 本 文 模型 的 


ROC(Receiver Operating Characteristic, 接收 者 操作 特征 ) Hl 


对 于 二 分 类 模型 ， 常 常 使 用 ROC 曲线 来 衡量 其 分 类 性 


E。 纵 坐标 和 横 坐 标 分 别 为 真 阳 率 (True Positive Rate, TPR) 
te eh en 


TPR- d. (15) 
TP FN 
FP 

FRR= IN (16) 


其 中 : TP 为 真 阳性 样本 ，FP 为 假 


阳性 样本 ，FN 为 假 阴性 样 


本 ，TN 为 真 阴 性 样本 。 实 验 中 选择 NC 组 的 样本 作为 负 类 
(negative), ad 和 mci 组 的 样本 为 正 类 (positive)。 
除了 分 类 的 精度 ，AUC(area under curve, 曲 线 下 面积 ) 也 


是 一 个 衡量 的 标准 ， 该 值 介 于 0~1。 
AUC 值 ，AD/NC 的 AUC 达到 了 


4 ARA 


图 5 展现 了 本 文 模型 的 
95%, MCI/NC 达到 90%. 


本 文 提出 了 一 种 结合 深度 卷 积 生成 对 抗 网 络 与 长 短 时 记 


忆 网 络 的 阿 兹 海 默 症 分 类 模型 。 禾 


上 4 用 生成 对 抗 网 络 ， 卷 积 网 


络 能 够 在 无 监督 的 情况 下 提取 到 图 像 特 征 ， 这 对 于 那些 缺乏 


标签 的 医学 图 像 十 分 有 用 。 训 练 村 
拟 合 的 原因 之 一 , 下 一 步 的 工作 将 


本 的 缺乏 也 是 导致 模型 过 
使 用 多 个 角度 的 MRI 图 像 ， 


并 用 带 条 件 的 生成 对 抗 网 络 生 成 各 类 样本 ,增加 数据 量 ， 改 
善 模型 的 性 能 。 


Receiver operating characteristic curve 
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Fig.5 ROC curve 
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